Có rất ít thông tin về gia đình của Besarion Jughashvili. Ông nội Besarion, Zaza Jughashvili (sinh k. 1780), đã chứng kiến cuộc nổi dậy Mtiuleti 1804 chống Nga tại miền đông Gruzia (Kartli-Kakheti), khu vực mới nằm dưới ách đô hộ của Đế quốc Nga kể từ năm 1801. Zaza có lẽ gốc gác là người Ossetia; hai nhà sử học Simon Sebag Montefiore và Ronald Grigor Suny đều cho rằng nguyên quán của vị này là Geri, gần Nam Ossetia hiện đại, tuy không có bằng chứng vững chãi ủng hộ điều này.[1][lower-alpha 2] Zaza sống sót qua cuộc biến loạn và tản cư tới Didi Lilo, một ngôi làng cách thủ phủ Tiflis (nay là Tbilisi) 16 kilômét (9,9 mi). Ông làm nông nô cho Hoàng thân Badur Machabeli, trông nom vườn nho của vị này. Tại đây, ông đẻ một đứa con tên là Vano, sau Vano đẻ thêm cho ông hai người cháu là Giorgi và Besarion (sinh ra k. 1850).[2] Vano mất khi còn khá trẻ, có lẽ trước thời điểm sinh nhật lần thứ 50. Con trai ông, Giorgi, làm chủ một tửu quán nhưng không may bị thổ phỉ giết.[3]

Không còn người thân, Jughashvili chuyển lên Tiflis và làm thuê cho xưởng đóng giày G. G. Adelkhanov.[4] Tuy không được học hành tử tế, Jughashvili biết đọc, khá bất thường khi so với công nhân Gruzia đương thời, ngoài ra còn biết nhiều ngôn ngữ: rất có thể ông đã học tiếng Armenia, tiếng Azerbaijan và tiếng Nga tại Tiflis, bên cạnh tiếng Gruzia mẹ đẻ.[5] Khoảng năm 1870 ông được mời đi Gori, cách Tiflis khoảng 75 kilômét (47 mi), và làm giày cho binh lính Nga đóng tại đó.[3] Gori là một thị trấn nhỏ với khoảng 7.000 cư dân, phần lớn là dân Armenia, cùng một lượng lớn dân Gruzia, cũng như một bộ phận dân Nga, Abkhaz và Ossetia. Năm 1871, Gori nổi lên như một thị trấn tối quan trọng sau khi tuyến đường sắt Ngoại Kavkaz thông với Tiflis và Poti, một cảng thị xuất khẩu dầu lớn.[3]